持续学习是在不忘记以前学识的情况下获得新知识的能力,假设不进一步访问过去的培训数据。已知具有梯度下降的神经网络近似器在此设置中失败,因为它们必须从从静止分布中采样的数据点流中学习到收敛。在这项工作中,我们通过荟萃学习的神经元模型更换标准神经元,谁优化了推断和更新规则,以最大限度地减少灾难性干扰。我们的方法可以记住训练样本的数据集长度序列,其学习能力概括为任何域。与以前的持续学习方法不同,我们的方法不会对任务的构建,交付以及它们如何相互关系进行任何假设:它只是吸收并保留一个接一个地保留训练样本,无论输入数据的流是否是时间相关的不是。
translated by 谷歌翻译